Gymnaste Club 'Azur được thành lập tại khu dân cư Les Baumettes vào ngày 9 tháng 7 năm 1904 dưới tên Câu lạc bộ Thể dục. Câu lạc bộ được thành lập bởi Marquis de Massengy Keyboarduzac, người từng là chủ tịch của Fédération Sportive des Alpes-Maritimes (Liên đoàn thể thao Alpes-Maritimes). Akin với tên của nó, câu lạc bộ chủ yếu tập trung vào các môn thể thao thể dục dụng cụ và điền kinh. Vào ngày 6 tháng 7 năm 1908, trong nỗ lực duy trì liên kết với FSAM và cũng tham gia giải nghiệp dư USFSA, đội đứng đầu bóng đá Pháp vào thời điểm đó, Câu lạc bộ Thể dục de Nice đã chia thành hai phần với phần mới của câu lạc bộ được đặt tên là Thể dục dụng cụ Amateurs Câu lạc bộ de Nice. Phần mới sinh ra một câu lạc bộ bóng đá và sau hai mùa giải, hai câu lạc bộ đã hợp nhất. Vào ngày 20 tháng 9 năm 1919, Nice sáp nhập với câu lạc bộ địa phương Câu lạc bộ bóng đá Gallia và sau đó, đã thông qua sự kết hợp màu đỏ và đen của câu lạc bộ. Vào năm 1920, câu lạc bộ đã chơi ở Ligue du Sud-Est, một giải đấu khu vực dưới sự theo dõi của Liên đoàn bóng đá Pháp. Trong khi chơi ở giải đấu, Nice đã phát triển sự cạnh tranh với Cannes và Marseille. Vào ngày 22 tháng 12 năm 1924, câu lạc bộ đổi tên thành Olympique Gymnaste Club de Nice.

Vào tháng 7 năm 1930, Hội đồng Quốc gia Liên đoàn bóng đá Pháp đã bầu 128-20 để ủng hộ sự chuyên nghiệp trong bóng đá Pháp. Nice, cùng với hầu hết các câu lạc bộ từ miền Nam nước Pháp, là một trong những câu lạc bộ đầu tiên áp dụng đạo luật mới và sau đó trở nên chuyên nghiệp và là thành viên sáng lập của giải đấu mới. Trong mùa khai mạc của giải đấu, Nice đã đứng vị trí thứ bảy trong nhóm của nó. Ở mùa giải tiếp theo, Nice kết thúc thứ 13 và bị rớt khỏi giải đấu. Câu lạc bộ đã không chơi bóng đá giải đấu trong mùa giải tiếp theo và trở lại với bóng đá Pháp vào năm 1936 chơi ở Giải hạng 2. Nice đã dành ba năm tiếp theo để chơi trong giải hạng hai. Năm 1939, bóng đá chuyên nghiệp ở Pháp bị bãi bỏ do Thế chiến II. Tuy nhiên, Nice tiếp tục chơi bóng đá giải đấu trong tình trạng nghiệp dư với câu lạc bộ tham gia Ligue du Sud-Est vào năm 1939 và Ligue du Sud trong các mùa giải tiếp theo.

Sau Thế chiến II, Nice trở lại vị thế chuyên nghiệp và được đưa trở lại phân khu thứ hai. Câu lạc bộ đã đạt được sự thăng hạng trở lại bộ phận đầu tiên cho mùa giải 1948-49 dưới sự lãnh đạo của người quản lý người Áo Anton Marek. Sau hai mùa giải kết thúc trong top 10, Nice, hiện do người quản lý Jean Lardi dẫn đầu, đã đạt được vinh dự đầu tiên bằng cách giành chức vô địch trong mùa giải 1950-51. Được dẫn dắt bởi các cầu thủ quốc tế người Pháp Marcel Domingo, Antoine Bonifaci, Abdelaziz Ben Tifour, và Jean Courteaux, cũng như bộ đôi người Argentina của Pancho Gonzales và Luis Carniglia và người Thụy Điển Pär Bengtsson, Nice đã giành chiến thắng với điểm số tương đương với Lille. Nice được tuyên bố là nhà vô địch do có nhiều chiến thắng (18) hơn so với Lille (17).[2] Ở mùa giải tiếp theo, dưới sự quản lý mới của Numa Andoire, Nice đã giành được cú đúp sau khi chiến thắng cả giải đấu và Coupe de France. Trong giải đấu, câu lạc bộ đã bảo vệ danh hiệu của mình bằng cách cầm hòa cả Bordeaux và Lille. Trong trận chung kết Coupe de France, Nice đối mặt với Bordeaux và đánh bại câu lạc bộ đến từ Aquitaine 5-3 nhờ các bàn thắng của năm cầu thủ khác nhau.

Nice tiếp tục hoạt động vững chắc trong thập kỷ bằng chiến thắng Coupe de France lần thứ hai vào năm 1954. Câu lạc bộ, đang được dẫn dắt bởi Just Fontaine trẻ tuổi và vô danh, đã đối mặt với các đối thủ phía nam Marseille và giành chiến thắng 2-1 với Victor Nuremberg và Carniglia ghi bàn. Carniglia đã giải nghệ sau mùa giải và bắt đầu quản lý Nice. Trong mùa giải đầu tiên của mình, Nice đã vô địch lần thứ ba sau khi bị các đối thủ của Marseille và Monaco, cũng như Lens và Saint-Étienne theo đuổi trong cả mùa giải. Sau mùa giải, Fontaine rời câu lạc bộ để đến Stade de Reims. Ba mùa sau, Nice giành được danh hiệu cuối cùng của thập kỷ vào năm 1959. Câu lạc bộ kết thúc thập kỷ (1950-1959) với bốn danh hiệu giải đấu và hai danh hiệu Coupe de France. Nice cũng xuất hiện trong cuộc cạnh tranh châu Âu lần đầu tiên trong mùa giải 1956-1957, thua Real Madrid ở tứ kết.

Trong những thập kỷ tiếp theo, Nice đã đấu tranh để cân bằng thành công của những năm 1950 với Reims và sau đó, Saint-Étienne làm lu mờ câu lạc bộ trong những năm 1960 và 70. Trong thời gian này, Nice thường xuyên thi đấu ở Giải hạng 1 ngoại trừ hai mùa ở Giải hạng 2 vào năm 1965 và 1970. Vào năm 1973 và 1976, Nice đã đạt được vị trí thứ hai trong giải đấu, kết thúc tốt nhất kể từ khi vô địch giải đấu năm 1959. Tuy nhiên, sau khi kết thúc sau đó, câu lạc bộ đã kết thúc ở vị trí thấp hơn trong sáu mùa giải tiếp theo và bị xuống hạng trong mùa giải 1981-82 sau khi kết thúc thứ 19. Nice đã chơi ba mùa ở giải hạng hai trước khi trở lại giải đấu hàng đầu năm 1985. Sau sáu mùa giải kết thúc giữa bảng xếp hạng, Nice đã trở lại Giải hạng 2.

Năm 1997, Nice, bây giờ trở lại trong giải đấu cao nhất, đã làm choáng váng nhiều người sau khi giành được Coupe de France. Tuy nhiên, chiến thắng không gây sốc cho hầu hết những người đam mê bóng đá Pháp, chủ yếu là do sự cạnh tranh của câu lạc bộ trong trận chung kết mà Nice chỉ phải đối mặt với các câu lạc bộ Giải hạng 2, duy nhất câu lạc bộ ở giải cao nhất Bastia. Trong trận chung kết, Nice đã đánh bại Guingamp 5-4 trên chấm phạt đền để kiếm cúp thành công. Trong một lưu ý chua chát, Nice đã xuống hạng từ giải hạng nhất chỉ vài ngày sau khi giành được Coupe de France vào ngày cuối cùng trong giải đấu. Câu lạc bộ đã trải qua năm mùa giải ở Ligue 2 và trở lại Ligue 1 cho mùa giải 2001-02. Trước mùa giải, Nice đã không đáp ứng các yêu cầu tài chính do DNCG đặt ra và sau đó bị xuống hạng Championnat National, cấp độ thứ ba của bóng đá Pháp. Tuy nhiên, sau khi đạt được sự ổn định, chủ yếu là do bán một vài cầu thủ, Nice đã được cho phép ở Ligue 1 sau khi kháng cáo thành công. Trong mùa giải 2005-06, Nice đã lọt vào trận chung kết Coupe de la Ligue năm 2006, để thua Nancy 2-1.

Năm 2016, một tập đoàn Trung Quốc và Hoa Kỳ do Chiến Lee và Alex Zheng lãnh đạo đã mua 80% câu lạc bộ.[3] Trong mùa giải 2016-17 Ligue 1, Nice đứng thứ ba trong bảng xếp hạng cuối cùng và đủ điều kiện cho vòng thứ ba của UEFA Champions League.[4]

Vào ngày 11 tháng 6 năm 2018, Patrick Vieira được công bố là người quản lý Nice, thay thế Lucien Favre.[5] Mùa giải 2018/2019, Nice kết thúc ở vị trí thứ 7 trên BXH.[6]